<!DOCTYPE HTML>
<html lang="zh-CN">


<head>
    <meta charset="utf-8">
    <meta name="keywords" content="论文精读：FGSM—EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES, J Sir">
    <meta name="description" content="">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no">
    <meta name="renderer" content="webkit|ie-stand|ie-comp">
    <meta name="mobile-web-app-capable" content="yes">
    <meta name="format-detection" content="telephone=no">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
    <!-- Global site tag (gtag.js) - Google Analytics -->


    <title>论文精读：FGSM—EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES | J Sir</title>
    <link rel="icon" type="image/png" href="/favicon.png">

    <link rel="stylesheet" type="text/css" href="/libs/awesome/css/all.css">
    <link rel="stylesheet" type="text/css" href="/libs/materialize/materialize.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/aos/aos.css">
    <link rel="stylesheet" type="text/css" href="/libs/animate/animate.min.css">
    <link rel="stylesheet" type="text/css" href="/libs/lightGallery/css/lightgallery.min.css">
    <link rel="stylesheet" type="text/css" href="/css/matery.css">
    <link rel="stylesheet" type="text/css" href="/css/my.css">

    <script src="/libs/jquery/jquery.min.js"></script>

<meta name="generator" content="Hexo 6.0.0">
<style>.github-emoji { position: relative; display: inline-block; width: 1.2em; min-height: 1.2em; overflow: hidden; vertical-align: top; color: transparent; }  .github-emoji > span { position: relative; z-index: 10; }  .github-emoji img, .github-emoji .fancybox { margin: 0 !important; padding: 0 !important; border: none !important; outline: none !important; text-decoration: none !important; user-select: none !important; cursor: auto !important; }  .github-emoji img { height: 1.2em !important; width: 1.2em !important; position: absolute !important; left: 50% !important; top: 50% !important; transform: translate(-50%, -50%) !important; user-select: none !important; cursor: auto !important; } .github-emoji-fallback { color: inherit; } .github-emoji-fallback img { opacity: 0 !important; }</style>
</head>




<body>
    <header class="navbar-fixed">
    <nav id="headNav" class="bg-color nav-transparent">
        <div id="navContainer" class="nav-wrapper container">
            <div class="brand-logo">
                <a href="/" class="waves-effect waves-light">
                    
                    <img src="/medias/logo.png" class="logo-img" alt="LOGO">
                    
                    <span class="logo-span">J Sir</span>
                </a>
            </div>
            

<a href="#" data-target="mobile-nav" class="sidenav-trigger button-collapse"><i class="fas fa-bars"></i></a>
<ul class="right nav-menu">
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/" class="waves-effect waves-light">
      
      <i class="fas fa-home" style="zoom: 0.6;"></i>
      
      <span>首页</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/tags" class="waves-effect waves-light">
      
      <i class="fas fa-tags" style="zoom: 0.6;"></i>
      
      <span>标签</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/categories" class="waves-effect waves-light">
      
      <i class="fas fa-bookmark" style="zoom: 0.6;"></i>
      
      <span>分类</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/archives" class="waves-effect waves-light">
      
      <i class="fas fa-archive" style="zoom: 0.6;"></i>
      
      <span>归档</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/about" class="waves-effect waves-light">
      
      <i class="fas fa-user-circle" style="zoom: 0.6;"></i>
      
      <span>关于</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/contact" class="waves-effect waves-light">
      
      <i class="fas fa-comments" style="zoom: 0.6;"></i>
      
      <span>留言板</span>
    </a>
    
  </li>
  
  <li class="hide-on-med-and-down nav-item">
    
    <a href="/friends" class="waves-effect waves-light">
      
      <i class="fas fa-address-book" style="zoom: 0.6;"></i>
      
      <span>友情链接</span>
    </a>
    
  </li>
  
  <li>
    <a href="#searchModal" class="modal-trigger waves-effect waves-light">
      <i id="searchIcon" class="fas fa-search" title="搜索" style="zoom: 0.85;"></i>
    </a>
  </li>
</ul>


<div id="mobile-nav" class="side-nav sidenav">

    <div class="mobile-head bg-color">
        
        <img src="/medias/logo.png" class="logo-img circle responsive-img">
        
        <div class="logo-name">J Sir</div>
        <div class="logo-desc">
            
            Never really desperate, only the lost of the soul.
            
        </div>
    </div>

    

    <ul class="menu-list mobile-menu-list">
        
        <li class="m-nav-item">
	  
		<a href="/" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-home"></i>
			
			首页
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/tags" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-tags"></i>
			
			标签
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/categories" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-bookmark"></i>
			
			分类
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/archives" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-archive"></i>
			
			归档
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/about" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-user-circle"></i>
			
			关于
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/contact" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-comments"></i>
			
			留言板
		</a>
          
        </li>
        
        <li class="m-nav-item">
	  
		<a href="/friends" class="waves-effect waves-light">
			
			    <i class="fa-fw fas fa-address-book"></i>
			
			友情链接
		</a>
          
        </li>
        
        
        <li><div class="divider"></div></li>
        <li>
            <a href="https://github.com/jy741" class="waves-effect waves-light" target="_blank">
                <i class="fab fa-github-square fa-fw"></i>Fork Me
            </a>
        </li>
        
    </ul>
</div>


        </div>

        
            <style>
    .nav-transparent .github-corner {
        display: none !important;
    }

    .github-corner {
        position: absolute;
        z-index: 10;
        top: 0;
        right: 0;
        border: 0;
        transform: scale(1.1);
    }

    .github-corner svg {
        color: #0f9d58;
        fill: #fff;
        height: 64px;
        width: 64px;
    }

    .github-corner:hover .octo-arm {
        animation: a 0.56s ease-in-out;
    }

    .github-corner .octo-arm {
        animation: none;
    }

    @keyframes a {
        0%,
        to {
            transform: rotate(0);
        }
        20%,
        60% {
            transform: rotate(-25deg);
        }
        40%,
        80% {
            transform: rotate(10deg);
        }
    }
</style>

<a href="https://github.com/jy741" class="github-corner tooltipped hide-on-med-and-down" target="_blank"
   data-tooltip="Fork Me" data-position="left" data-delay="50">
    <svg viewBox="0 0 250 250" aria-hidden="true">
        <path d="M0,0 L115,115 L130,115 L142,142 L250,250 L250,0 Z"></path>
        <path d="M128.3,109.0 C113.8,99.7 119.0,89.6 119.0,89.6 C122.0,82.7 120.5,78.6 120.5,78.6 C119.2,72.0 123.4,76.3 123.4,76.3 C127.3,80.9 125.5,87.3 125.5,87.3 C122.9,97.6 130.6,101.9 134.4,103.2"
              fill="currentColor" style="transform-origin: 130px 106px;" class="octo-arm"></path>
        <path d="M115.0,115.0 C114.9,115.1 118.7,116.5 119.8,115.4 L133.7,101.6 C136.9,99.2 139.9,98.4 142.2,98.6 C133.8,88.0 127.5,74.4 143.8,58.0 C148.5,53.4 154.0,51.2 159.7,51.0 C160.3,49.4 163.2,43.6 171.4,40.1 C171.4,40.1 176.1,42.5 178.8,56.2 C183.1,58.6 187.2,61.8 190.9,65.4 C194.5,69.0 197.7,73.2 200.1,77.6 C213.8,80.2 216.3,84.9 216.3,84.9 C212.7,93.1 206.9,96.0 205.4,96.6 C205.1,102.4 203.0,107.8 198.3,112.5 C181.9,128.9 168.3,122.5 157.7,114.1 C157.9,116.9 156.7,120.9 152.7,124.9 L141.0,136.5 C139.8,137.7 141.6,141.9 141.8,141.8 Z"
              fill="currentColor" class="octo-body"></path>
    </svg>
</a>
        
    </nav>

</header>

    



<div class="bg-cover pd-header post-cover" style="background-image: url('/medias/featureimages/14.jpg')">
    <div class="container" style="right: 0px;left: 0px;">
        <div class="row">
            <div class="col s12 m12 l12">
                <div class="brand">
                    <h1 class="description center-align post-title">论文精读：FGSM—EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES</h1>
                </div>
            </div>
        </div>
    </div>
</div>




<main class="post-container content">

    
    <link rel="stylesheet" href="/libs/tocbot/tocbot.css">
<style>
    #articleContent h1::before,
    #articleContent h2::before,
    #articleContent h3::before,
    #articleContent h4::before,
    #articleContent h5::before,
    #articleContent h6::before {
        display: block;
        content: " ";
        height: 100px;
        margin-top: -100px;
        visibility: hidden;
    }

    #articleContent :focus {
        outline: none;
    }

    .toc-fixed {
        position: fixed;
        top: 64px;
    }

    .toc-widget {
        width: 345px;
        padding-left: 20px;
    }

    .toc-widget .toc-title {
        padding: 35px 0 15px 17px;
        font-size: 1.5rem;
        font-weight: bold;
        line-height: 1.5rem;
    }

    .toc-widget ol {
        padding: 0;
        list-style: none;
    }

    #toc-content {
        padding-bottom: 30px;
        overflow: auto;
    }

    #toc-content ol {
        padding-left: 10px;
    }

    #toc-content ol li {
        padding-left: 10px;
    }

    #toc-content .toc-link:hover {
        color: #42b983;
        font-weight: 700;
        text-decoration: underline;
    }

    #toc-content .toc-link::before {
        background-color: transparent;
        max-height: 25px;

        position: absolute;
        right: 23.5vw;
        display: block;
    }

    #toc-content .is-active-link {
        color: #42b983;
    }

    #floating-toc-btn {
        position: fixed;
        right: 15px;
        bottom: 76px;
        padding-top: 15px;
        margin-bottom: 0;
        z-index: 998;
    }

    #floating-toc-btn .btn-floating {
        width: 48px;
        height: 48px;
    }

    #floating-toc-btn .btn-floating i {
        line-height: 48px;
        font-size: 1.4rem;
    }
</style>
<div class="row">
    <div id="main-content" class="col s12 m12 l9">
        <!-- 文章内容详情 -->
<div id="artDetail">
    <div class="card">
        <div class="card-content article-info">
            <div class="row tag-cate">
                <div class="col s7">
                    
                    <div class="article-tag">
                        
                            <a href="/tags/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">
                                <span class="chip bg-color">机器学习</span>
                            </a>
                        
                            <a href="/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">
                                <span class="chip bg-color">深度学习</span>
                            </a>
                        
                            <a href="/tags/%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/">
                                <span class="chip bg-color">对抗攻击</span>
                            </a>
                        
                            <a href="/tags/%E6%9C%9F%E5%88%8A%E8%AE%BA%E6%96%87/">
                                <span class="chip bg-color">期刊论文</span>
                            </a>
                        
                    </div>
                    
                </div>
                <div class="col s5 right-align">
                    
                </div>
            </div>

            <div class="post-info">
                
                <div class="post-date info-break-policy">
                    <i class="far fa-calendar-minus fa-fw"></i>发布日期:&nbsp;&nbsp;
                    2023-03-01
                </div>
                

                

                
                <div class="info-break-policy">
                    <i class="far fa-file-word fa-fw"></i>文章字数:&nbsp;&nbsp;
                    5.3k
                </div>
                

                

                
                    <div id="busuanzi_container_page_pv" class="info-break-policy">
                        <i class="far fa-eye fa-fw"></i>阅读次数:&nbsp;&nbsp;
                        <span id="busuanzi_value_page_pv"></span>
                    </div>
				
            </div>
        </div>
        <hr class="clearfix">

        
        <!-- 是否加载使用自带的 prismjs. -->
        <link rel="stylesheet" href="/libs/prism/prism.css">
        

        

        <div class="card-content article-card-content">
            <div id="articleContent">
                <h2 id="奶茶鼠的想法"><a href="#奶茶鼠的想法" class="headerlink" title="奶茶鼠的想法"></a>奶茶鼠的想法</h2><p>新系列喵~</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/b4dff8628d1564a7610bf75a48cb6ea0d8ff4b08.png@1036w.webp" alt="img" style="zoom:50%;"></p>
<span id="more"></span>
<h2 id="导读"><a href="#导读" class="headerlink" title="导读"></a>导读</h2><p>这篇文章由Goodfellow等人发表在<strong>ICLR’2015</strong>会议上，是对抗样本领域的经典论文。对抗样本自从2014年被提出来之后，逐渐引发人们的关注,在Ian J. Goodfellow大佬的推动下，对抗样本攻防逐渐成为一个小领域，本文是Ian J. Goodfellow大佬在2015年ICLR上发表的论文，解释了对抗样本的机理以及通过实验论证了他的假设，同时借助该假设提出了一个快速梯度标记算法来产生对抗样本.</p>
<h2 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h2><p>早期错误将对抗样本分类错误归咎于非线性和过度拟合上，但本篇作者认为神经网络易受对抗性扰动影响的主要原因是它们的线性特性。此外还提出了一种简单快速的生成对抗样本的方法。</p>
<h2 id="介绍"><a href="#介绍" class="headerlink" title="介绍"></a>介绍</h2><p>早些Szegedy等人就发现机器学习模型容易受到对抗性例子的影响。并且在许多情况下，在训练数据的不同子集上训练的具有不同架构的各种模型会对相同的对抗样本进行错误分类。这表明<strong>对抗样本（adversarial examples）</strong>暴露了我们训练算法中的基本盲点。所谓对抗样本，即攻击者通过轻微地扰动正常样本产生对抗样本，在且保证该攻击不影响人眼的识别的情况下，达到误导分类器的目的。</p>
<p>在当前的研究中，<strong>对抗样本的原因产生的原因仍是一个谜</strong>。之前很多假设推测对抗样本的产生是因为深度神经网络的极度非线性，可能还结合了监督学习中正则化和模型均化不足等原因。但是本文的作者认为，这种非线性(Nonlinear)的推测解释没有必要，<strong>高维空间的线性(Linear Behavior)足够产生对抗样本</strong>。根据这个观点，作者设计了一种新的快速产生对抗样本的方法，并且使得<strong>对抗学习(Adversarial Training)</strong>更实用。这种对抗学习方法提供除了传统正则化方法(dropout, pre-training, model averaging等)外另外一种”正则化方法”。</p>
<p>通用正则化策略（如 dropout、预训练和模型平均）不会显着降低模型对对抗性示例的脆弱性，但改为非线性模型族（如 RBF 网络）可以做到这一点。</p>
<h2 id="相关工作"><a href="#相关工作" class="headerlink" title="相关工作"></a>相关工作</h2><p>总结概述了作者之前的人所做的关于对抗样本的一些相关工作。</p>
<p>Szegedy等人在《Intriguing properties of neural networks》中所做的一些相关工作：</p>
<ul>
<li>Box-constrained L-BFGS 能够可靠的产生对抗样本</li>
<li>在一些数据集上，人眼很难区分对抗样本与原始数据</li>
<li>相同的对抗样本能够使得不同架构和在不同训练集上训练的模型出现误分类</li>
<li>浅层softmax回归模型对于对抗样本也是脆弱的</li>
<li>在对抗样本上训练可以正则化模型——但是在当时条件下，对于这种昂贵的约束优化是不现实的</li>
</ul>
<p>这些结果表明尽管有些分类器有着出色的性能（正确率），但是他们显然没有学到如何确定一个正确标签的基本概念。</p>
<h2 id="对抗样本的线性解释"><a href="#对抗样本的线性解释" class="headerlink" title="对抗样本的线性解释"></a>对抗样本的线性解释</h2><p>作者首先解释线性模型的对抗样本的存在。</p>
<p>在许多问题中，单个输入特征的精度是有限的。如数字图像通常每个像素仅使用 8 位，样本中低于1/255的所有信息都会被丢弃。所以当样本$x$中每个元素值添加的扰动值$\eta$小于样本输入精度时，分类器无法将样本 $x$ 和对抗样本$\tilde{x}=x+\eta$区分开。也就是对一个分类良好的分类器而言，如果 $\epsilon$ 是一个足够小以至于被舍弃掉的值，那么只要$||\eta||_{\infty}&lt;\epsilon$，分类器将认为 $x$和  $\tilde{x}$属于同一个类。</p>
<p>考虑权重向量 w 和对抗样本 $\tilde{x}$ 之间的点积：</p>
<script type="math/tex; mode=display">
w^T \tilde{x} = w^Tx + w^T\eta</script><p>我们可以通过分配 η = sign(w) 来最大化这种增长，但要遵守 η 的最大范数约束。假设权重向量 w有 n 个维度，且权重向量中元素的平均量值是 m，那么activation将增加$\epsilon mn(⇒w^T\eta \le n<em>m</em>\eta)$。但是由 η 扰动引起的激活变化可以随 n 线性增长，那么对于高维问题，我们可以对输入进行许多无穷小的变化，这些变化加起来对输出的一个大改变。</p>
<p>所以<strong>对抗样本的线性解释</strong>表明，对线性模型而言，如果其输入样本有足够大的维度，那么线性模型也容易受到对抗样本的攻击。</p>
<h2 id="非线性模型的线性扰动"><a href="#非线性模型的线性扰动" class="headerlink" title="非线性模型的线性扰动"></a>非线性模型的线性扰动</h2><p>作者提出现有的神经网络中的结构如 LSTM、ReLU、maxout等都被有意设计为以非常线性的方式运行，因此它们更容易优化。但这种线性行为也意味着对线性模型进行廉价的分析扰动也会损害神经网络。</p>
<p>接着作者利用对抗样本的线性解释提出了一个快速产生对抗样本的方式，也即<strong>Fast Gradient Sign Method(FGSM)</strong>方法。</p>
<script type="math/tex; mode=display">
\eta = \epsilon sin(\nabla_xJ(\theta,x,y))</script><p>假设模型的参数值为$\theta$，模型的输入是x， y 是模型对应的label值， $J(\theta,x,y)$是训练神经网络的损失函数。故该式表示围绕θ 的当前值对成本函数$J$进行线性化，得到最大范数约束下的最优扰动。此方法即称为FGSM方法，即快速梯度法。</p>
<p>当然实验表明，此方法生成的对抗样本能够可靠地导致各类模型出现误分类，实验中误分类的置信度都是比较大的。效果如图</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/image-20230301220811826.png" alt="image-20230301220811826"></p>
<p>作者也提出还有很多其他的简单地生成对抗样本的方法，例如，小角度旋转x xx的梯度方向。</p>
<p>由此，证明了之前证明了对抗样本的线性解释。这些算法还可以用来加快对抗性训练，甚至只是分析训练过的网络。</p>
<h2 id="线性模型的对抗训练"><a href="#线性模型的对抗训练" class="headerlink" title="线性模型的对抗训练"></a>线性模型的对抗训练</h2><p>考虑在最简单的逻辑回归(Logistics Regression)模型上应用FGSM方法，从而理解在一个简单的设置中如何生成对抗样本。</p>
<p>模型用$P(y=1)=\sigma(w^Tx+b)$识别标签$ y\in {-1,1}$，其中σ ( . ) 是逻辑sigmoid函数（该函数输出为± 1 ）。则使用梯度下降的训练过程可以描述为：</p>
<script type="math/tex; mode=display">
E_{x,y∼p_{data}}\zeta(-y(w^Tx+b))</script><p>其中$ \zeta(z)=log(1+exp(z))$表示softplus函数。基于梯度符号扰动，可以推导出一种简单的解析形式，用于训练x的最坏情况下的对抗性扰动，而不是x本身，即得到一个对对抗样本训练的模型。</p>
<p>值得注意的是 对模型而言，梯度的符号是 $-sign(w)$，而$ w^T sign(w) = ||w||_1$,所以，对于对抗样本来说，我们要做的就是最小化如下模型：</p>
<script type="math/tex; mode=display">
E_{x,y∼p_{data}}\zeta(-y(w^T\tilde{x} +b)) \\
= E_{x,y∼p_{data}}\zeta(-y(w^T(x+\eta) +b)) \\
=E_{x,y∼p_{data}}\zeta(-y(w^Tx+w^T\eta +b)) \\
=E_{x,y∼p_{data}}\zeta(-y(w^Tx+w^T\epsilon sign(w) +b)) \\
=E_{x,y∼p_{data}}\zeta(y(\epsilon||w||_1-w^Tx-b))</script><p>上面公式非常类似于L1正则化，但不同的是对抗形式是在训练过程中减去L1惩罚项，而不是加上L1惩罚项。</p>
<p>将该方法由逻辑回归转移到多分类softmax回归时， L1  weight decay 会变得更糟糕，因为它将softmax的每个输出视为独立的扰动，而实际上通常无法找到与类的所有权重向量对齐的单个η 。在具有多个隐藏单元的深层网络中，该方法高估了扰动可能造成的损害。因为，L1weight decay 高估了一个对抗样本所能造成的危害，所以有必要将L1 weight decay 的系数设置的更小。更小的系数时训练能够更成功，但也让正则化效果不好。作者在MNIST训练集上训练maxout网络使用ϵ = 0.25 的系数却获得了很好的结果。但是对模型第一层使用L1 weight decay时，发现0.0025的系数也显得太大了，导致模型在训练集上的误差超过5%。较小的权重衰减系数可以使得训练成功，但无法显示正则化的好处。</p>
<h2 id="深度网络的对抗训练"><a href="#深度网络的对抗训练" class="headerlink" title="深度网络的对抗训练"></a>深度网络的对抗训练</h2><p>作者认为相比于浅层网络，深度网络有抵抗对抗样本的能力。广义逼近定理（the universal approximator theorem）认为至少有一层隐藏层的神经网络就能够以任意精度的表示任何函数，只要有足够的单元。而浅层线性模型既不能在训练点附近保持不变(拟合不光滑)，同时也不能将不同的输出分配给不同的训练点。</p>
<p>当然，广义逼近定理并没有说明训练算法是否能够发现具有所有期望性质的函数。很明显的，标准的监督学习并没有具体说明，选择的函数能够抵御对抗样本。这必须在训练程序中编码才行。所以作者通过Szegedy等人的说明研究对抗性例子的训练与其他数据增强有些不同；数据增强使用的是不太可能自然发生的输入，但这些输入暴露了模型概念化决策函数方式中的缺陷。然而，这一过程从未被证明可以改善dropout以外的状况。这在一定程度上是因为很难用基于L-BFG的昂贵的对抗样本进行广泛的实验。</p>
<p>作者发现基于FGSM的对抗目标函数训练是一种有效地正则化方式：</p>
<script type="math/tex; mode=display">
\tilde{J}(\theta,x,y) = \alpha J(\theta,x,y) + (1-\alpha)J(\theta,x+\epsilon sign(\nabla_xJ(\theta,x,y)))</script><p>所有实验中α = 0.5，因为模型表现很好，故没有再试用其他参数。此方法会不断更新对抗样本，以使其抵抗当前模型版本，其实就是一直用对抗样本对当前版本模型进行训练，以提高模型对于对抗样本的鲁棒性。maxout网络的训练展示了此方法呢个能够使错误率有0.94%降低到0.84%。</p>
<p>后面作者用该方法进行试验：</p>
<p>1）该模型在某种程度上也可以抵抗对抗样本。对抗样本可在两个模型之间转移，但对抗性训练的模型显示出更高的鲁棒性。原始模型对基于FGSM生成的对抗样本的错误率是89.4%，而对抗模型是17.9%；原始模型产生的对抗样本在对抗模型上错误率是19.6%，新模型生成的对抗样本在原始模型上错误率是40.9%。然而对抗模型误分类对抗样本的置信度是比较高的，平均置信度达到81.4%。对抗模型的权重也随之发生改变，且更加的局部化和可解释。</p>
<p>2）当数据被扰动时，对抗训练过程可以被看作是使最坏情况的错误最小化（即防止被扰动）。对抗训练也可以看作是主动学习的一种形式，其中模型能够请求新的点的标签（通过附近（能够得到附近的点是对抗训练的扰动造成的）的标签复制过来）。</p>
<p>3）通过对最大范数约束内的所有点进行训练，或者对该约束内的很多点进行采样，来对模型进行正则化，使其对小于精度的特征变化不敏感。这相当于在训练过程中以最大范数增加噪声。我们可以将对抗训练看作是在嘈杂的输入中进行样本挖掘，以便仅考虑那些强烈抵抗分类的嘈杂点来更有效地进行训练。</p>
<p>由于符号函数的导数在任何地方都是零或未定义，因此FGSM的对抗目标函数的梯度下降无法使模型预测对手对参数变化的反应。但是基于小旋转或按比例缩放的梯度的对抗样本，则扰动过程本身是可区分的，学习可以将对抗的反应考虑在内。但是，发现此过程的正则化结果几乎没有强大的功能，因为这类对抗样本并不难解决。</p>
<p>作者对对抗性训练的观点是： 只有在模型具有学习抵抗对对抗样本的能力时，它才明显有用。仅当应用The universal approximator theorem时，情况才很明显。而且因为神经网络的最后一层是linear sigmoid或linear softmax层，不是最终隐藏层功能的通用逼近器，所以很可能会遇到欠拟合的问题隐藏层，使用隐藏层扰动但不涉及最终隐藏层的扰动进行训练得到最佳结果。</p>
<h2 id="不同类型的模型能力"><a href="#不同类型的模型能力" class="headerlink" title="不同类型的模型能力"></a>不同类型的模型能力</h2><p>此节作者主要描述低容量（Low capacity）模型对于对于对抗样本是免疫的，原因是由于低容量（Low capacity）模型虽然不能够在所有的点上都能够正确的分类，但是它却可以在一些不能理解的点上（扰动点），给予较低的预测置信度。作者以<code>RBF</code>网络为例，对于<code>RBF</code>网络有：</p>
<script type="math/tex; mode=display">
p(y=1|x) = exp((x-\mu)^T\beta (x-\mu))</script><p>此网络仅仅能够预测μ 附近的正例，但是对其他范围就具有低的预测置信度，这让RBF网络天生就不易受对抗样本的影响，因为，当RBF被攻击时，它具有较低的置信度。一个没有隐藏层的RBF网络，在MNIST数据集上，使用FGSM方法进行攻击，具有55.4%的攻击成功率。但是，它在误分类样本上的平均置信度只有1.2%。而在干净的测试集上的平均置信度有60.6%。</p>
<h2 id="对抗样本泛化原因"><a href="#对抗样本泛化原因" class="headerlink" title="对抗样本泛化原因"></a>对抗样本泛化原因</h2><p>作者提出一个有趣的现象，一个模型生成的对抗样本常常也会让其他模型产生误分类，即使这些模型基于不同架构和在不同训练集上训练的，同时多个模型误分类的类基本是同一类。而基于极端非线性和过拟合，没法解释这种行为。因为，在这两种观点中，对抗样本很常见，但只发生在特别精确的位置上。</p>
<p>基于线性的观点下，对抗样本发生在一个较宽的子空间。 只要η在损失函数的梯度方向上点积，ϵ 足够大，一个模型就会出现误分类的现象。跟踪ϵ ，发现对抗样本出现在由快速梯度符号法定义的一维子空间的相邻区域，而不是在精细的区域。如图</p>
<p><img src="https://pluto-1300780100.cos.ap-nanjing.myqcloud.com/img/image-20230301224407631.png" alt="image-20230301224407631"></p>
<p>上图表明，在不同的 ϵ  下，可以看到FGSM可以在一维的<strong>连续子空间</strong>内产生对抗样本，<strong>而不是特定的区域</strong>。这就解释了为什么对抗样本特别多，以及对抗样本transferability存在的原因。</p>
<p>为了解释，多个分类器会将对抗样本分类成相同的类，他们假设目前方法所训练的神经网络看起来都像是在同一个训练集上训练出来一样。在训练集的不同子集上训练时，这些分类器能够学习到近似相同的分类权值。而这是因为机器学习的泛化能力。而根本的分类权值的稳定性又能反过来影响对抗样本的稳定性。</p>
<p>为了测试这一假设，作者又进行了如下的实验。作者在一个maxout网络上生成了对抗样本，然后用一个浅的softmax网络和RBF网络去分类这些样本。这里作者讨论了这两个浅的网络对 那些被maxout网络分类错误的对抗样本 进行分类所花费的时间。然后作者通过实验发现RBF花费的去适配这些分类错误时间更少，是因为RBF是线性的，也就是说，线性的模型更容易被迁移的攻击，也就是说，线性造成了模型之间的泛化。</p>
<h2 id="对抗样本存在性的其他假设"><a href="#对抗样本存在性的其他假设" class="headerlink" title="对抗样本存在性的其他假设"></a>对抗样本存在性的其他假设</h2><p>这一部分，作者通过实验及分析，反驳了其他两种对抗样本存在性的假设。</p>
<p><strong>*假设1：</strong>生成训练可以在训练过程中提供更多的限制，或者是的模型学习如何分辨”real”或者”fake”的数据，并且对”real”的数据更加自信。*</p>
<p>文章表明，某些生成训练并不能达到假设的效果，但是不否认可能有其他形式的生成模型可以抵御攻击，但是确定的是生成训练的本身并不足够。</p>
<p><strong>*假设2：</strong>对抗样本存在于单个奇怪的模型(models with strange quirks)，因此多个模型的平均可以使得模型防御性更好*。</p>
<p>文章通过实验说明，模型融合对于对抗样本的防御能力非常有限。</p>
<h2 id="总结与讨论"><a href="#总结与讨论" class="headerlink" title="总结与讨论"></a>总结与讨论</h2><p>总结：</p>
<ul>
<li>对抗样本被解释为高维点积的一种性质。此为模型是 too linear，而不是too nonlinear。</li>
<li>对抗样本的泛化（在不同模型之间）可以解释为：对抗性扰动与模型的权重向量高度一致，不同模型在训练执行相同任务时学习相似的函数</li>
<li>对抗样本生成最重要的是扰动的方向，而不是空间中的特定的点。对抗样本在空间内，并不是像实数空间中的有理数那样平铺的。</li>
<li>因为最重要的是扰动的方向，所以对抗扰动也可以在不同的训练集上进行泛化</li>
<li>介绍了一组可以快速生成对抗样本的方法(FGSM)</li>
<li>证明了对抗训练可以用来正则化，甚至效果比dropout还要好</li>
<li>容易优化的模型也容易被扰动</li>
<li>控制实验，但没有用更简单但效率更低的正则化器重现这种效果，包括L1权重衰减和添加噪声。</li>
<li>线性模型缺乏抵抗对抗性扰动的能力；只有具有隐藏层的结构（在普遍近似定理适用的情况下）才应该被训练来抵抗对抗性扰动。</li>
<li>RBF网络可以抵御对抗样本</li>
<li>训练来模拟输入分布的模型不能够抵御对抗样本</li>
<li>集成策略不能够抵御对抗样本</li>
<li>对抗样本的分布特征，即对抗样本往往存在于模型决策边界的附近，在线性搜索范围内，模型的正常分类区域和被对抗样本攻击的区域都仅占分布范围的较小一部分，剩余部分为垃圾类别(rubbish class)</li>
<li>垃圾类别样本是普遍存在的且很容易生成</li>
<li>浅的线性模型不能抵御垃圾类别样本</li>
<li>RBF网络可以抵御垃圾类别样本</li>
</ul>
<p>讨论：基于梯度的优化方式是现代AI的核心。作者说使用一个设计成足够线性的网络——无论是ReLU或maxout网络、LSTM，还是经过精心配置以避免过多饱和的sigmoid网络——我们能够解决我们关心的大多数问题，至少在训练集上是这样。对抗样本的存在表明，能够解释训练数据，甚至能够正确标记测试数据并不意味着我们的模型真正理解我们要求他们执行的任务。相反，他们的线性反应在数据分布中没有出现的点上过于自信，而这些自信的预测往往是非常错误的。这项工作表明，我们可以通过明确地识别问题点并在每个问题点上修正模型来部分地纠正这个问题。然而，我们也可以得出这样的结论：我们使用的模型族在本质上是有缺陷的。优化的容易程度是以容易被误导的模型为代价的。这推动了优化程序的发展，这些程序能够训练行为更局部稳定的模型。</p>

                
            </div>
            <hr/>

            

    <div class="reprint" id="reprint-statement">
        
            <div class="reprint__author">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-user">
                        文章作者:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="/about" rel="external nofollow noreferrer">J Sir</a>
                </span>
            </div>
            <div class="reprint__type">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-link">
                        文章链接:
                    </i>
                </span>
                <span class="reprint-info">
                    <a href="https://jy741.gitee.io/2023/03/01/lun-wen-jing-du-fgsm-explaining-and-harnessing-adversarial-examples/">https://jy741.gitee.io/2023/03/01/lun-wen-jing-du-fgsm-explaining-and-harnessing-adversarial-examples/</a>
                </span>
            </div>
            <div class="reprint__notice">
                <span class="reprint-meta" style="font-weight: bold;">
                    <i class="fas fa-copyright">
                        版权声明:
                    </i>
                </span>
                <span class="reprint-info">
                    本博客所有文章除特別声明外，均采用
                    <a href="https://creativecommons.org/licenses/by/4.0/deed.zh" rel="external nofollow noreferrer" target="_blank">CC BY 4.0</a>
                    许可协议。转载请注明来源
                    <a href="/about" target="_blank">J Sir</a>
                    !
                </span>
            </div>
        
    </div>

    <script async defer>
      document.addEventListener("copy", function (e) {
        let toastHTML = '<span>复制成功，请遵循本文的转载规则</span><button class="btn-flat toast-action" onclick="navToReprintStatement()" style="font-size: smaller">查看</a>';
        M.toast({html: toastHTML})
      });

      function navToReprintStatement() {
        $("html, body").animate({scrollTop: $("#reprint-statement").offset().top - 80}, 800);
      }
    </script>



            <div class="tag_share" style="display: block;">
                <div class="post-meta__tag-list" style="display: inline-block;">
                    
                        <div class="article-tag">
                            
                                <a href="/tags/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">
                                    <span class="chip bg-color">机器学习</span>
                                </a>
                            
                                <a href="/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">
                                    <span class="chip bg-color">深度学习</span>
                                </a>
                            
                                <a href="/tags/%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/">
                                    <span class="chip bg-color">对抗攻击</span>
                                </a>
                            
                                <a href="/tags/%E6%9C%9F%E5%88%8A%E8%AE%BA%E6%96%87/">
                                    <span class="chip bg-color">期刊论文</span>
                                </a>
                            
                        </div>
                    
                </div>
                <div class="post_share" style="zoom: 80%; width: fit-content; display: inline-block; float: right; margin: -0.15rem 0;">
                    <link rel="stylesheet" type="text/css" href="/libs/share/css/share.min.css">
<div id="article-share">

    
    <div class="social-share" data-sites="twitter,facebook,google,qq,qzone,wechat,weibo,douban,linkedin" data-wechat-qrcode-helper="<p>微信扫一扫即可分享！</p>"></div>
    <script src="/libs/share/js/social-share.min.js"></script>
    

    

</div>

                </div>
            </div>
            
                <style>
    #reward {
        margin: 40px 0;
        text-align: center;
    }

    #reward .reward-link {
        font-size: 1.4rem;
        line-height: 38px;
    }

    #reward .btn-floating:hover {
        box-shadow: 0 6px 12px rgba(0, 0, 0, 0.2), 0 5px 15px rgba(0, 0, 0, 0.2);
    }

    #rewardModal {
        width: 320px;
        height: 350px;
    }

    #rewardModal .reward-title {
        margin: 15px auto;
        padding-bottom: 5px;
    }

    #rewardModal .modal-content {
        padding: 10px;
    }

    #rewardModal .close {
        position: absolute;
        right: 15px;
        top: 15px;
        color: rgba(0, 0, 0, 0.5);
        font-size: 1.3rem;
        line-height: 20px;
        cursor: pointer;
    }

    #rewardModal .close:hover {
        color: #ef5350;
        transform: scale(1.3);
        -moz-transform:scale(1.3);
        -webkit-transform:scale(1.3);
        -o-transform:scale(1.3);
    }

    #rewardModal .reward-tabs {
        margin: 0 auto;
        width: 210px;
    }

    .reward-tabs .tabs {
        height: 38px;
        margin: 10px auto;
        padding-left: 0;
    }

    .reward-content ul {
        padding-left: 0 !important;
    }

    .reward-tabs .tabs .tab {
        height: 38px;
        line-height: 38px;
    }

    .reward-tabs .tab a {
        color: #fff;
        background-color: #ccc;
    }

    .reward-tabs .tab a:hover {
        background-color: #ccc;
        color: #fff;
    }

    .reward-tabs .wechat-tab .active {
        color: #fff !important;
        background-color: #22AB38 !important;
    }

    .reward-tabs .alipay-tab .active {
        color: #fff !important;
        background-color: #019FE8 !important;
    }

    .reward-tabs .reward-img {
        width: 210px;
        height: 210px;
    }
</style>

<div id="reward">
    <a href="#rewardModal" class="reward-link modal-trigger btn-floating btn-medium waves-effect waves-light red">赏</a>

    <!-- Modal Structure -->
    <div id="rewardModal" class="modal">
        <div class="modal-content">
            <a class="close modal-close"><i class="fas fa-times"></i></a>
            <h4 class="reward-title">你的赏识是我前进的动力</h4>
            <div class="reward-content">
                <div class="reward-tabs">
                    <ul class="tabs row">
                        <li class="tab col s6 alipay-tab waves-effect waves-light"><a href="#alipay">支付宝</a></li>
                        <li class="tab col s6 wechat-tab waves-effect waves-light"><a href="#wechat">微 信</a></li>
                    </ul>
                    <div id="alipay">
                        <img src="/medias/reward/alipay.jpg" class="reward-img" alt="支付宝打赏二维码">
                    </div>
                    <div id="wechat">
                        <img src="/medias/reward/wechat.png" class="reward-img" alt="微信打赏二维码">
                    </div>
                </div>
            </div>
        </div>
    </div>
</div>

<script>
    $(function () {
        $('.tabs').tabs();
    });
</script>

            
        </div>
    </div>

    

    

    

    

    

    

    

    

<article id="prenext-posts" class="prev-next articles">
    <div class="row article-row">
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge left-badge text-color">
                <i class="fas fa-chevron-left"></i>&nbsp;上一篇</div>
            <div class="card">
                <a href="/2023/03/05/lun-wen-jing-du-adversarial-examples-in-the-physical-world/">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/12.jpg" class="responsive-img" alt="论文精读：ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD">
                        
                        <span class="card-title">论文精读：ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            奶茶鼠的想法爱情~好像流沙

                        
                    </div>
                    <div class="publish-info">
                        <span class="publish-date">
                            <i class="far fa-clock fa-fw icon-date"></i>2023-03-05
                        </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-user fa-fw"></i>
                            J Sir
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">
                        <span class="chip bg-color">机器学习</span>
                    </a>
                    
                    <a href="/tags/%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/">
                        <span class="chip bg-color">对抗攻击</span>
                    </a>
                    
                    <a href="/tags/%E6%9C%9F%E5%88%8A%E8%AE%BA%E6%96%87/">
                        <span class="chip bg-color">期刊论文</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
        
        <div class="article col s12 m6" data-aos="fade-up">
            <div class="article-badge right-badge text-color">
                下一篇&nbsp;<i class="fas fa-chevron-right"></i>
            </div>
            <div class="card">
                <a href="/2023/02/28/adverisarial-attack-dui-kang-gong-ji/">
                    <div class="card-image">
                        
                        
                        <img src="/medias/featureimages/13.jpg" class="responsive-img" alt="Adverisarial attack对抗攻击">
                        
                        <span class="card-title">Adverisarial attack对抗攻击</span>
                    </div>
                </a>
                <div class="card-content article-content">
                    <div class="summary block-with-text">
                        
                            奶茶鼠的想法留着长长的~头发

                        
                    </div>
                    <div class="publish-info">
                            <span class="publish-date">
                                <i class="far fa-clock fa-fw icon-date"></i>2023-02-28
                            </span>
                        <span class="publish-author">
                            
                            <i class="fas fa-user fa-fw"></i>
                            J Sir
                            
                        </span>
                    </div>
                </div>
                
                <div class="card-action article-tags">
                    
                    <a href="/tags/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">
                        <span class="chip bg-color">机器学习</span>
                    </a>
                    
                    <a href="/tags/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">
                        <span class="chip bg-color">深度学习</span>
                    </a>
                    
                    <a href="/tags/%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB/">
                        <span class="chip bg-color">对抗攻击</span>
                    </a>
                    
                </div>
                
            </div>
        </div>
        
    </div>
</article>

</div>



<!-- 代码块功能依赖 -->
<script type="text/javascript" src="/libs/codeBlock/codeBlockFuction.js"></script>

<!-- 代码语言 -->

<script type="text/javascript" src="/libs/codeBlock/codeLang.js"></script>


<!-- 代码块复制 -->

<script type="text/javascript" src="/libs/codeBlock/codeCopy.js"></script>


<!-- 代码块收缩 -->

<script type="text/javascript" src="/libs/codeBlock/codeShrink.js"></script>


    </div>
    <div id="toc-aside" class="expanded col l3 hide-on-med-and-down">
        <div class="toc-widget card" style="background-color: white;">
            <div class="toc-title"><i class="far fa-list-alt"></i>&nbsp;&nbsp;目录</div>
            <div id="toc-content"></div>
        </div>
    </div>
</div>

<!-- TOC 悬浮按钮. -->

<div id="floating-toc-btn" class="hide-on-med-and-down">
    <a class="btn-floating btn-large bg-color">
        <i class="fas fa-list-ul"></i>
    </a>
</div>


<script src="/libs/tocbot/tocbot.min.js"></script>
<script>
    $(function () {
        tocbot.init({
            tocSelector: '#toc-content',
            contentSelector: '#articleContent',
            headingsOffset: -($(window).height() * 0.4 - 45),
            collapseDepth: Number('0'),
            headingSelector: 'h1, h2, h3, h4, h5'
        });

        // modify the toc link href to support Chinese.
        let i = 0;
        let tocHeading = 'toc-heading-';
        $('#toc-content a').each(function () {
            $(this).attr('href', '#' + tocHeading + (++i));
        });

        // modify the heading title id to support Chinese.
        i = 0;
        $('#articleContent').children('h1, h2, h3, h4, h5').each(function () {
            $(this).attr('id', tocHeading + (++i));
        });

        // Set scroll toc fixed.
        let tocHeight = parseInt($(window).height() * 0.4 - 64);
        let $tocWidget = $('.toc-widget');
        $(window).scroll(function () {
            let scroll = $(window).scrollTop();
            /* add post toc fixed. */
            if (scroll > tocHeight) {
                $tocWidget.addClass('toc-fixed');
            } else {
                $tocWidget.removeClass('toc-fixed');
            }
        });

        
        /* 修复文章卡片 div 的宽度. */
        let fixPostCardWidth = function (srcId, targetId) {
            let srcDiv = $('#' + srcId);
            if (srcDiv.length === 0) {
                return;
            }

            let w = srcDiv.width();
            if (w >= 450) {
                w = w + 21;
            } else if (w >= 350 && w < 450) {
                w = w + 18;
            } else if (w >= 300 && w < 350) {
                w = w + 16;
            } else {
                w = w + 14;
            }
            $('#' + targetId).width(w);
        };

        // 切换TOC目录展开收缩的相关操作.
        const expandedClass = 'expanded';
        let $tocAside = $('#toc-aside');
        let $mainContent = $('#main-content');
        $('#floating-toc-btn .btn-floating').click(function () {
            if ($tocAside.hasClass(expandedClass)) {
                $tocAside.removeClass(expandedClass).hide();
                $mainContent.removeClass('l9');
            } else {
                $tocAside.addClass(expandedClass).show();
                $mainContent.addClass('l9');
            }
            fixPostCardWidth('artDetail', 'prenext-posts');
        });
        
    });
</script>

    

</main>


<script src="https://cdn.bootcss.com/mathjax/2.7.5/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script>
<script>
    MathJax.Hub.Config({
        tex2jax: {inlineMath: [['$', '$'], ['\(', '\)']]}
    });
</script>



    <footer class="page-footer bg-color">
    
        <link rel="stylesheet" href="/libs/aplayer/APlayer.min.css">
<style>
    .aplayer .aplayer-lrc p {
        
        display: none;
        
        font-size: 12px;
        font-weight: 700;
        line-height: 16px !important;
    }

    .aplayer .aplayer-lrc p.aplayer-lrc-current {
        
        display: none;
        
        font-size: 15px;
        color: #42b983;
    }

    
    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body {
        left: -66px !important;
    }

    .aplayer.aplayer-fixed.aplayer-narrow .aplayer-body:hover {
        left: 0px !important;
    }

    
</style>
<div class="">
    
    <div class="row">
        <meting-js class="col l8 offset-l2 m10 offset-m1 s12"
                   server="netease"
                   type="playlist"
                   id="503838841"
                   fixed='true'
                   autoplay='false'
                   theme='#42b983'
                   loop='all'
                   order='random'
                   preload='auto'
                   volume='0.7'
                   list-folded='true'
        >
        </meting-js>
    </div>
</div>

<script src="/libs/aplayer/APlayer.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/meting@2/dist/Meting.min.js"></script>

    
    <div class="container row center-align" style="margin-bottom: 0px !important;">
        <div class="col s12 m8 l8 copy-right">
            Copyright&nbsp;&copy;
            
                <span id="year">2020-2023</span>
            
            <span id="year">2020</span>
            <a href="/about" target="_blank">J Sir</a>
            |&nbsp;Powered by&nbsp;<a href="https://hexo.io/" target="_blank">Hexo</a>
            |&nbsp;Theme&nbsp;<a href="https://github.com/blinkfox/hexo-theme-matery" target="_blank">Matery</a>
            <br>
            
            &nbsp;<i class="fas fa-chart-area"></i>&nbsp;站点总字数:&nbsp;<span
                class="white-color">300.9k</span>&nbsp;字
            
            
            
            
            
            
            <span id="busuanzi_container_site_pv">
                |&nbsp;<i class="far fa-eye"></i>&nbsp;总访问量:&nbsp;<span id="busuanzi_value_site_pv"
                    class="white-color"></span>&nbsp;次
            </span>
            
            
            <span id="busuanzi_container_site_uv">
                |&nbsp;<i class="fas fa-users"></i>&nbsp;总访问人数:&nbsp;<span id="busuanzi_value_site_uv"
                    class="white-color"></span>&nbsp;人
            </span>
            
            <br>
            
            <br>
            
        </div>
        <div class="col s12 m4 l4 social-link social-statis">


    <a href="mailto:2065373132@qq.com" class="tooltipped" target="_blank" data-tooltip="邮件联系我" data-position="top" data-delay="50">
        <i class="fas fa-envelope-open"></i>
    </a>







    <a href="tencent://AddContact/?fromId=50&fromSubId=1&subcmd=all&uin=2065373132" class="tooltipped" target="_blank" data-tooltip="QQ联系我: 2065373132" data-position="top" data-delay="50">
        <i class="fab fa-qq"></i>
    </a>







    <a href="/atom.xml" class="tooltipped" target="_blank" data-tooltip="RSS 订阅" data-position="top" data-delay="50">
        <i class="fas fa-rss"></i>
    </a>

</div>
    </div>
</footer>

<div class="progress-bar"></div>


    <!-- 搜索遮罩框 -->
<div id="searchModal" class="modal">
    <div class="modal-content">
        <div class="search-header">
            <span class="title"><i class="fas fa-search"></i>&nbsp;&nbsp;搜索</span>
            <input type="search" id="searchInput" name="s" placeholder="请输入搜索的关键字"
                   class="search-input">
        </div>
        <div id="searchResult"></div>
    </div>
</div>

<script type="text/javascript">
$(function () {
    var searchFunc = function (path, search_id, content_id) {
        'use strict';
        $.ajax({
            url: path,
            dataType: "xml",
            success: function (xmlResponse) {
                // get the contents from search data
                var datas = $("entry", xmlResponse).map(function () {
                    return {
                        title: $("title", this).text(),
                        content: $("content", this).text(),
                        url: $("url", this).text()
                    };
                }).get();
                var $input = document.getElementById(search_id);
                var $resultContent = document.getElementById(content_id);
                $input.addEventListener('input', function () {
                    var str = '<ul class=\"search-result-list\">';
                    var keywords = this.value.trim().toLowerCase().split(/[\s\-]+/);
                    $resultContent.innerHTML = "";
                    if (this.value.trim().length <= 0) {
                        return;
                    }
                    // perform local searching
                    datas.forEach(function (data) {
                        var isMatch = true;
                        var data_title = data.title.trim().toLowerCase();
                        var data_content = data.content.trim().replace(/<[^>]+>/g, "").toLowerCase();
                        var data_url = data.url;
                        data_url = data_url.indexOf('/') === 0 ? data.url : '/' + data_url;
                        var index_title = -1;
                        var index_content = -1;
                        var first_occur = -1;
                        // only match artiles with not empty titles and contents
                        if (data_title !== '' && data_content !== '') {
                            keywords.forEach(function (keyword, i) {
                                index_title = data_title.indexOf(keyword);
                                index_content = data_content.indexOf(keyword);
                                if (index_title < 0 && index_content < 0) {
                                    isMatch = false;
                                } else {
                                    if (index_content < 0) {
                                        index_content = 0;
                                    }
                                    if (i === 0) {
                                        first_occur = index_content;
                                    }
                                }
                            });
                        }
                        // show search results
                        if (isMatch) {
                            str += "<li><a href='" + data_url + "' class='search-result-title'>" + data_title + "</a>";
                            var content = data.content.trim().replace(/<[^>]+>/g, "");
                            if (first_occur >= 0) {
                                // cut out 100 characters
                                var start = first_occur - 20;
                                var end = first_occur + 80;
                                if (start < 0) {
                                    start = 0;
                                }
                                if (start === 0) {
                                    end = 100;
                                }
                                if (end > content.length) {
                                    end = content.length;
                                }
                                var match_content = content.substr(start, end);
                                // highlight all keywords
                                keywords.forEach(function (keyword) {
                                    var regS = new RegExp(keyword, "gi");
                                    match_content = match_content.replace(regS, "<em class=\"search-keyword\">" + keyword + "</em>");
                                });

                                str += "<p class=\"search-result\">" + match_content + "...</p>"
                            }
                            str += "</li>";
                        }
                    });
                    str += "</ul>";
                    $resultContent.innerHTML = str;
                });
            }
        });
    };

    searchFunc('/search.xml', 'searchInput', 'searchResult');
});
</script>

    <!-- 回到顶部按钮 -->
<div id="backTop" class="top-scroll">
    <a class="btn-floating btn-large waves-effect waves-light" href="#!">
        <i class="fas fa-arrow-up"></i>
    </a>
</div>


    <script src="/libs/materialize/materialize.min.js"></script>
    <script src="/libs/masonry/masonry.pkgd.min.js"></script>
    <script src="/libs/aos/aos.js"></script>
    <script src="/libs/scrollprogress/scrollProgress.min.js"></script>
    <script src="/libs/lightGallery/js/lightgallery-all.min.js"></script>
    <script src="/js/matery.js"></script>

    <!-- Baidu Analytics -->

    <!-- Baidu Push -->

<script>
    (function () {
        var bp = document.createElement('script');
        var curProtocol = window.location.protocol.split(':')[0];
        if (curProtocol === 'https') {
            bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
        } else {
            bp.src = 'http://push.zhanzhang.baidu.com/push.js';
        }
        var s = document.getElementsByTagName("script")[0];
        s.parentNode.insertBefore(bp, s);
    })();
</script>

    
    <script src="/libs/others/clicklove.js" async="async"></script>
    
    
    <script async src="/libs/others/busuanzi.pure.mini.js"></script>
    

    

    

	
    

    

    

    
    <script src="/libs/instantpage/instantpage.js" type="module"></script>
    

<script src="/live2dw/lib/L2Dwidget.min.js?094cbace49a39548bed64abff5988b05"></script><script>L2Dwidget.init({"pluginRootPath":"live2dw/","pluginJsPath":"lib/","pluginModelPath":"assets/","tagMode":false,"debug":false,"model":{"jsonPath":"live2d-widget-model-hibiki"},"display":{"position":"right","width":145,"height":315},"mobile":{"show":true,"scale":0.5},"react":{"opacityDefault":0.7,"opacityOnHover":0.8},"log":false});</script></body>

</html>
